Địa điểm nguyên thủy của Khách sạn Caravelle vào thời Pháp thuộc là quán Grand Cafe de la Terrasse, một trong những quán cà phê đầu tiên và nổi tiếng của Sài Gòn từ cuối thế kỷ XIX.[1] Còn công trình như hiện nay bắt đầu xây năm 1957, được khai trương vào đêm vọng Lễ Giáng Sinh năm 1959. Khách sạn Caravelle lúc bấy giờ là tòa nhà hiện đại và cao nhất Sài Gòn,[2] giá một đêm là 17 Mỹ kim; lầu thứ 8 có quán Jerome[3] có thang máy, máy lạnh, nước nóng, điện thoại.[4] Vì lý do an ninh, cửa kính dùng loại kính chống đạn. Với địa điểm thuận lợi giữa thành phố cùng đầy đủ tiện nghi nên chính phủ New Zealand,[5] và Úc đã từng mướn một căn trong tòa cao ốc làm đại sứ quán. Caravelle trong thời chiến còn là nơi nhóm họp của các ký giả kỳ cựu quốc tế vì trên sân thượng tầng thứ 10 có thể phóng tầm mắt nhìn bao quát cả thành phố Sài Gòn lúc bấy giờ.[6] Các hãng truyền hình Hoa Kỳ CBS và ABC cũng như nhật báo New York Times đều đặt trụ sở ở đây.[7]

Khách sạn Caravelle cũng là địa điểm họp mặt của nhóm trí thức và chính khách thời Đệ Nhất Cộng hòa khi họ soạn thỉnh nguyện thư đòi Tổng thống Ngô Đình Diệm cải tổ chính trị để mở rộng nền dân chủ. Bản văn kiện đó được công bố rộng rãi năm 1960, tác động nhiều đến chính trường Miền Nam. Nhóm người đó sau được gọi chung là Nhóm Caravelle.

Ngày 25 Tháng 8, 1964[8] Khách sạn Caravelle lại được nhắc đến khi một nhóm biệt kích cộng sản đặt bom[9] ở tầng thứ năm gây thiệt hại nhưng không có tử vong; khách sạn vẫn tiếp tục hoạt động.[6]

Với vị trí trung tâm quay ra Công trường Lam Sơn và Nhà hát thành phố, Caravelle từng tiếp đón nhiều nhân vật danh tiếng khi họ đến Việt Nam như Tổng thống Bill Clinton, diễn viên Brendan Fraser và Michael Caine, nhà thiết kế thời trang Pierre Cardin.[10]